Sea \(x_t\) una observación aleatoria de una serie de tiempo. Definimos el símbolo \(L\) como:
\[\begin{equation} L x_t = x_{t-1} \end{equation}\]
\(L\) es lo que en matemáticas es conocido como un operador. No es un parámetro o un número pero puede ser tratado como tal para operaciones algebraicas, e.g. \(L^2 x_t = L(L x_t) = L x_{t-1} = x_{t-2}\), en general \(L^n x_t = x_{t-n}\)
En adición, la expresión
\[\begin{equation} \alpha(L) = \alpha_0 + \alpha_1 L + \alpha_2 L^2 + \dots + \alpha_p L^p \end{equation}\]
es llamado el polinomio de orden p del operador de rezagos.
Y si lo aplicamos a un serie de tiempo, generamos una media móvil ponderada de la serie, i.e.
\[\begin{equation} \alpha(L)x_t = \alpha_0 + \alpha_1 x_{t-1} + \alpha_2 x_{t-2} + \dots + \alpha_p x_{t-p} \end{equation}\]
Otro operador usado es
\[\begin{equation} \Delta = 1 - L \end{equation}\]
el operador de diferencia. \(\Delta x_t = x_t - x_{t-1}\) es el cambio en \(x\) en el periodo \(t\).
Es importante anotar la diferencia de notación entre
\[\begin{equation} \Delta_n = 1 - L^n \end{equation}\]
que el operador de la diferencia de \(n\) periodos, y
\[\begin{equation} \Delta^n = (1 - L)^n \end{equation}\]
el operador de la diferencia de orden \(n\), e.g. \(\Delta_2 x_t = x_t - x_{t-2}\) y \(\Delta^2 x_t= \Delta x_t - \Delta x_{t-1} = (x_t - x_{t-1}) - (x_{t-1} - x_{t-2})\)
Estacionariedad débil: Una secuencia aleatoria \(\{x_t\}\) es estacionaria débil (o estacionaria en covarianza) si la media, varianza y la secuencia de autocovarianzas de orden \(j\) , para \(j>0\) son independientes de \(t\)
Estacionariedad Estricta:
Una secuencia aleatoria \(\{x_t\}\) es estacionaria estricta si para todo \(k>0\) la distribución conjunta de todas las colecciones \((x_t,x_{t+1},x_{t+2},\dots,x_{t+k})\) no depende de \(t\)
Estacionariedad estricta implica estacionariedad débil, pero lo contrario no siempre aplica.
En el caso especial de la distribución normal, estacionariedad débil si implica estacionariedad estricta.
consideremos el siguiente proceso con tendencia y \(|\phi| < 1\),
\[\begin{equation} x_t = \delta + \alpha t + \phi x_{t-1} + \varepsilon_t \end{equation}\]
Si estimamos la media de este proceso vemos que depende del tiempo,
\[\begin{align*} E[x_t] & = E[\delta + \alpha t + \phi x_{t-1} + \varepsilon_t] \end{align*}\]
reemplazando obtenemos,
\[\begin{align*} E[x_t] & = E[\delta] + E[\alpha t] + E[\phi x_{t-1}] + E[\varepsilon_t] \\ & = \delta + \alpha t + \phi E[\delta + \alpha (t-1) + \phi x_{t-2} + \varepsilon_{t-1}] \\ & \vdots \\ & = \sum_{i=0}^n \phi^i (\delta + \alpha (t-i)) \end{align*}\]
dado que \(|\phi| < 1\) y \(n \rightarrow \infty\)
por lo tanto la media sería,
\[\begin{equation} E[x_t] = \frac{\delta + \alpha(\phi (t + 1) - t)}{(1-\phi)^2} \end{equation}\]
y dado que depende de \(t\) no sería estacionaria bajo nuestra definición de estacionariedad.
Ahora veamos el caso del proceso definido como,
\[\begin{equation}\label{eq:rw} x_t = x_{t-1} + \varepsilon_t \end{equation}\]
Este proceso es conocido como “random walk” o paseo aleatorio.
¿Es este proceso estacionario (débil)? Para esto miremos cual es la media y la varianza de este modelo.
\[\begin{align} E(x_t) & = E( x_{t-1} + \varepsilon_t) \\ & = E(x_{t-1}) + E(\varepsilon_t) \\ & = E[ ( x_{t-2} + \varepsilon_{t-1})] + E(\varepsilon_t) \\ & = E[ x_{t-2}] + E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ & = E[(x_{t-3} + \varepsilon_{t-2})] + E[ \varepsilon_{t-1}] + E(\varepsilon_t) \end{align}\]
\[\begin{align} E(X + Y) & = E(X) + E(Y) \\ E(k* X) & = k E(X) \text{ Para todo } k \in \mathbb{R} \\ E(X*Y) & = E(X) * E(Y) \text{ Sí y solo sí X y Y son independientes} \\ E(X) & = E[E(X | Y)] \end{align}\]
Si seguimos iterando hacia atrás obtenemos \[\begin{align} E(x_t) & = E[x_{t-n}] + E[\varepsilon_{t-(n-1)}] + \dots + E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ \\ E(x_t) & = E[x_{t-n}] + 0 + \dots + 0 + 0 \\ E(x_t) & = E[x_{t-n}] \end{align}\]
Ahora hacemos lo mismo para la varianza, por facilidad de exposición asumimos que \(E[x_1] = 0\):
\[\begin{align} Var(x_t) & = E[(x_t - E[x_t])^2] \\ & = E[x_t^2] \\ & = E[(x_{t-1} + \varepsilon_t)^2] \\ & = E[(x_{t-1})^2] + 2E[ x_{t-1}\varepsilon_t] + E[\varepsilon_t^2] \\ & = E[x_{t-1}^2] + 0 + E[\varepsilon_t^2] \end{align}\]
Si seguimos iterando hacia atrás obtenemos
\[\begin{align} Var(x_t) & = E[( x_{t-2} + \varepsilon_{t-1})^2] + E[\varepsilon_t^2] \\ & = E[x_{t-2}^2] + E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Repitiendo este proceso, obtenemos
\[\begin{align} Var(x_t) & = E[x_{t-n}^2] + E[\varepsilon_{t-n}^2 ] + \dots + E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Este proceso tiene varianza igual a,
\[\begin{equation} \gamma_{0,t} = t \sigma^2 \end{equation}\]
por lo cual el proceso es no estacionario.
Se deja como ejercicio, que la auto-covarianza es,
\[\begin{equation} \gamma_{j,t} = (t-j) \sigma^2 \end{equation}\]
Finalmente, la auto-correlación esta dada por,
\[\begin{align*} \rho_{j,t} & = \frac{\gamma_{j,t}}{\sqrt{\gamma_{0,t}}\sqrt{\gamma_{0,t-j}}} \\ & = \frac{(t-j)\sigma^2}{\sqrt{t \sigma^2} \sqrt{(t -j)\sigma^2} } \\ & = \frac{\sqrt{t-j}}{\sqrt{t}} \end{align*}\]
Sin embargo, podemos hacer uso del operador de diferencias para convertir esta serie en un proceso estacionario,
\[\begin{equation} w_t = \Delta x_t = x_t - x_{t-1} = \varepsilon_t \end{equation}\]
donde \(w_t\) es estacionario.
Acá pasamos de \(x_t\) a \(w_t\) pero siempre podemos hacer el proceso contrario en caso tal que deseemos conocer los valores de la serie original
\[\begin{align} x_t & = w_t + x_{t-1} \\ & = w_t + w_{t-1} + x_{t-2} \\ & \vdots \\ & = w_t + w_{t-1} + w_{t-2} + w_{t-3} + \dots \end{align}\]
por lo tanto el proceso \(x_t\) se obtiene sumando o integrando el proceso \(w_t\)
Por esta razón, el paseo aleatorio hace parte de la clase de modelos integrados.
Los modelos integrados son aquellos que se pueden obtener mediante suma o integración de modelos estacionarios